Ông sinh ngày 24/7/1930 tại Hà Nội trong gia đình Nho học ở phố Hàng Thùng, có cha và ông nội đều là nhà nho. Năm 16 tuổi, ông gia nhập Đội thiếu niên cứu quốc Mai Hắc Đế, là liên lạc viên tự vệ khu Đông Kinh Nghĩa Thục (Liên khu I) Hà Nội, rồi làm phụ trách Thiếu sinh quân Trung đoàn 165, Sư đoàn 312. Sau đó, ông tham gia Đội Tuyên truyền võ trang Lao Hà, làm báo chí và công tác địch vận của trung đoàn, sư đoàn và sau đó phụ trách văn nghệ ở Sư đoàn 312.

Sau 1954, ông được cử đi tu nghiệp tại Học viện Âm nhạc Trung ương, Bắc Kinh, Trung Quốc. Khi về nước, ông chỉ huy dàn nhạc đoàn ca nhạc Đài Tiếng nói Việt Nam kiêm chỉ đạo nghệ thuật cho đến cuối những năm 1960, đồng thời tham gia giảng dạy môn sáng tác và phối khí tại Nhạc viện Hà Nội cho đến năm 1989. Từ 1963-1989, ông là Uỷ viên Ban Chấp hành Hội Nhạc sĩ Việt Nam, là trưởng ban sáng tác thanh nhạc và công tác tại Hội cho đến năm 1996. Năm 1975, ông đi thực tập một thời gian tại Nhạc viện Sofia, Bulgaria.

Hoàng Vân vẫn tự hào là ít có người sống trong phố cổ Hà Nội từ lúc sinh ra đến năm hơn 80 tuổi như ông. Hoàng Vân có sở thích viết thư pháp, chơi đồ cổ và đọc sách. Hai người con của ông là nhạc trưởng Lê Phi Phi và Tiến sĩ - nhà nghiên cứu âm nhạc Lê Y Linh đều thành danh.

Hoàng Vân qua đời vào sáng 4/2/2018. Trước đó, ông bị bệnh viêm phổi và một số bệnh tuổi già.